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摘 要 : mongodb 已 经 是 比较 成 熟 的 NoSQL 数据 库 产品 ， 使 用 也 比较 普遍 。 搭 建 mongodb 分 片 集群 ，mongodb 企业 版 提供 
了 OpsManager 等 辅助 工具 ， 实 现 了 完整 的 自动 化 的 部 署 、 升 级 、 监 控 、 备 份 及 恢复 方案 。 相 比 之 下 ,使 用 mongodb 社区 版 
来 搭建 分 片 集群 需要 一 定 的 经 验 积累 ， 本 文 整 理 了 mongodb 副本 集 的 规则 和 特性 ， 在 实验 环境 中 经 过 验证 ， 力 求 更 贴近 实 
际 , 更 具 可 读 性 和 可 操作 性 ， 并 就 搭建 mongodb 分 片 集群 进行 探讨 ， 针 对 需要 解决 的 问题 、 考 虑 的 因素 , 设计 出 相应 的 方案 ， 
并 对 部 署 实践 给 出 建议 。 
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1. 软 件 版 本 若 副本 集 的 节点 总 数 不 超 过 7, 默认 每 个 节点 都 有 投票 权 ; 
64 位 操作 系统 CentOS6.5+; 若 副本 集 节点 总 数 多 于 7 个 ， 超 出 7 个 之 外 的 差额 数量 
mongodb3.6 社区 版 ; 的 节点 ， 必 须 设 成 没有 投票 权 。 比 如 : 副本 集 节 点 总 数 

2. 副 本 集 规则 和 特性 为 9， 必 须 设 定 2 个 节点 没有 投票 权 。 即 : 若 投票 节点 数 

2.1 副本 集 的 成 员 角色 、 数 量 量 少 于 副本 集 节 点 总 数 ， 需 要 设 定 差额 数量 的 节点 没有 
副本 集 由 1 个 主 节点 P ( Primary ) 、 若 干 个 从 节点 S 投票 权 。 

( Secondary ) 、 仲 裁 节点 A( Arbiter, 根据 实际 情况 设 定 ) 图 2 中 的 容错 数 ， 指 在 能 正常 选举 出 主 节点 的 情况 

构成 。 每 个 副本 集 的 节点 总 数 不 超 过 50， 最 少 有 3 个 节 下 ,投票 节点 失效 的 最 大 数量 。 只 要 失效 的 投票 节点 不 

点 (分 片 集群 排除 单 节点 、 主 从 双 节 点 的 情况 ) ， 如 图 1 ”超过 容错 数 ， 就 能 正常 选举 出 主 节 点 。 

所 示 的 2 种 情况 : 1 主 2 从 ,1 主 1 从 1 仲裁 ， 单 箭头 表 副本 集 节点 总 数 、 有 投票 权 的 节点 总 数 ， 一 般 都 设 

示 主 从 复制 ， 双 箭头 表示 心跳 。 定 为 奇数 ， 但 不 是 强制 性 的 。 关 于 节点 数量 设 成 奇数 还 


是 偶数 ， 有 一 种 观点 认为 : 如 果 设 成 偶数 ， 选 举 的 时 候 
可 能 出 现 2 个 节点 得 票数 一 样 多 的 情况 ， 从 而 选 不 出 主 
节点 。 我 们 假设 这 种 情况 成 立 ， 如 : 市 点 总 数 为 4， 可 用 
节点 数 为 4， 可 能 选 不 出 主 节 点 ;再 考虑 一 下 节点 总 数 为 
5， 投 票 节点 数量 为 5S， 对 1 个 节点 停机 维护 ， 剩 下 4 个 


1 三 个 节点 的 副本 集结 构 节点 可 用 ， 也 可 能 选 不 出 主 节点 。 这 显然 是 个 悖 论 ， 和 
mongodb 高 可 用 架构 的 特性 不 符 。 经 实验 验证 ， 设 定 为 偶 
2.2 副本 集 选 举 的 大 多 数 数 个 ， 只 要 选举 超过 半数 ， 同 样 能 选 出 主 节点 。 但 是 ， 
选举 主 节点 ， 需 得 到 大 多 数 成 员 的 支持 ， 这 里 的 大 ”从 图 2 中 可 以 看 出 ， 奇 数 个 投票 节点 ， 再 增加 一 个 成 为 
多 数 ， 是 具有 投票 权 的 节点 的 半数 以 上 ， 不 一 定 是 副本 ”偶数 个 , 不 能 提高 容错 数 ,反而 降低 了 副本 集 的 稳定 性 。 
集 节 点 总 数 的 大 多 数 。 如 : 3 个 节点 ，2 个 可 用 (67% 的 节点 可 用 ) 就 能 达到 大 
ss aas。 多数，4 个 节 版 需要 3 个 可 用 (75% 的 节点 可 用 ) 才 过 
3 3 > 27 1 到 大 多 数 。 
4 4 =3 1 ”2.4 节点 的 投票 权 
9 2 | 可 通过 参数 votes 来 设 定 ，votes 默认 值 为 1， 表示 可 
3 7 4 3 投 1 票 ( 值 不 能 大 于 1， 不 允许 一 个 节点 可 以 投 多 票 的 情 


况 发 生 ) ，votes 值 为 0， 则 无 投票 权 (不 考虑 投 否 决 票 ; 
其 优先 级 priority 值 也 必须 为 0 ) 。 
2.3 ”有 投票 权 的 节点 总 2.5 节点 的 优先 级 

一 个 副本 集中 ， 有 投票 权 的 节点 总 数 不 超过 7 个 ; 通过 参数 priority 来 设 定 ， priority 取 值 范围 是 从 0 到 


2 副本 集 选举 的 大 多 数 
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1000 之 间 的 浮 点 数 ,中 默认 值 为 1, 数值 越 大 , 优先 级 越 高 ， 
越 容易 被 选举 成 主 节点 。 如 果 希 望 某 个 成 员 能 被 选 为 主 
节点 ， 可 调 高 其 优先 级 。 
2.6 ”仲裁 节点 

仲裁 节点 只 参与 选举 ,不 存放 数据 ( 不 会 被 选举 成 
主 节 点 ) ,设置 成 仲裁 节点 后 ， 不 能 更 改 成 从 节点 ， 只 
能 从 副本 集中 移 除 后 ， 重 新 初始 化 再 加 入 副本 集 。 仲 裁 
节点 可 依据 实际 需要 设置 ， 额外 的 仲裁 节点 ， 既 不 能 提 
高 数据 安全 性 ， 还 会 影响 选举 效率 。 
2.7 隐藏 节点 

对 客户 端 是 不 可 见 的 ， 客 户 端 不 会 向 隐藏 节点 发 送 
请 求 。 设置 成 隐藏 节点 ， 可 避免 客户 端的 请 求 ， 虽 然 
隐藏 节点 不 会 成 为 主 节 点 ， 但 在 选举 过 程 中 可 以 正常 投 
票 。 参 数 设 置 : priority: 0，hidden: true。 
2.8 延迟 节点 

延迟 节点 必须 是 隐藏 节点 ， 选 举 过 程 中 可 以 正常 
投票 ， 不 会 收 到 客户 端的 请 求 。 延 迟 节 点 的 数据 会 比 主 
节点 延迟 指定 时 间 ， 不 会 成 为 主 节 点 ， 参 数 设置 ， 如 : 
priority: 0, hidden: true, slaveDelay: 259200 ( 单位 : 秒 ， 
即 延 人 运 3 天 ) 。 
2.9 ”投票 节点 没有 达到 大 多 数 的 情况 

副本 集中 投票 的 节点 若 没 有 达到 ( 有 投票 权 的 节点 
总 数 ) 半数 以 上 ， 不 能 选举 出 新 的 主 节 点 ， 并 且 当 前 主 


由 


ChinaXiv 合 作 期 刊 


3.3 仲裁 节点 的 使 用 

仲裁 节点 的 使 用 ， 可 以 保证 副本 集 的 投票 节点 数量 
为 奇数 ， 提 高 副本 集 的 稳定 性 ， 同 时 ， 因 为 仲裁 节点 不 
存放 数据 ， 也 减少 了 数据 元 余 。 此 外 ， 在 异地 、 跨 机 房 
的 部 署 中 ， 仲 裁 节点 有 特殊 的 作用 。 
3.4 ”防止 数据 误 操作 : 延迟 节点 的 使 用 

恢复 误 操作 的 数据 ， 需 要 用 到 延迟 的 备份 节点 D 
( Delay node ) 。 因 为 主 、 从 复制 延迟 了 一 段 时 间 ， 这 段 
时 间 内 对 数据 的 操作 , 延迟 节点 还 没有 执行 。 延 迟 多 入， 
依据 防止 数据 误 操 作 的 需求 , 人 为 设 定 的 , 如 : 延迟 3 天 ， 
可 恢复 3 天 内 的 误 操 作 数 据 ; 延迟 7 天 ， 可 恢复 7 天 内 
的 误 操 作 数据 。 

同时 ， 依 据 业 务 量 ， 数 据 规 模 ， 在 节点 配置 文件 中 
设置 好 参数 oplogSizeMB 的 大 小 ， 默 认 大 小 是 可 用 磁盘 空 
间 的 5%, 保证 oplog 日 志保 留 时 间 比 节点 的 延迟 时 间 要 长 。 
3.5 指定 主 节点 、 从 节点 

若 硬件 资源 有 区 别 ， 建 议 把 性 能 最 好 的 设 定 成 主 闻 
点 ， 性 能 一 般 的 设 定 成 从 节点 ， 性 能 稍 差 的 设 定 成 仲裁 


AN 


在 跨 机 房 部 署 的 情况 下 ， 一 般 和 希望 把 主 节 点 部 署 在 
主机 房 。 

通过 设 定 优先 级 指定 主 节 点 还 有 一 个 好 处 ， 就 是 可 
以 避免 出 现 一 种 极端 情况 : 多 个 分 片 ， 节 点 关闭 、 启 动 


节点 会 自动 降级 成 为 从 节点 。 
3. 副 本 集 设计 
3.1 容错 机 制 
为 应 对 各 类 突 发 事件 ， 如 : 节点 数据 损坏 、 物 理 机 
宕 机 、 网 络 连 接 中 断 ， 等 等 ， 在 副本 集 的 部 分 节点 不 可 用 
的 情况 下 , 副本 集 要 正常 提供 服务 , 对 容错 数 是 有 要 求 的。 
容错 数 为 n， 表 示 : n 个 投票 节点 失效 的 情况 下 ， 副 
本 集 可 以 正常 选举 出 主 节 点 。 副 本 集中 节点 数量 最 少 为 
2n+1， 如 : 容错 数 为 2， 副 本 集 的 节点 总 数 最 少 为 5。 
3.2 单个 数据 节点 的 故障 恢复 
数据 节点 的 故障 恢复 , 依据 损坏 情况 , 用 不 同方 案 。 


引起 选举 ， 若 使 用 默认 优先 级 ， 各 分 片 的 主 节 点 被 选 出 
来 后 ， 所 有 的 主 节 点 都 在 同一 主机 上 ， 集 群 的 资源 分 配 
是 不 合理 的 , 通过 指定 主 节 点 , 就 完全 解决 了 这 个 问题 ， 
主 节点 分 布 在 不 同 主机 上 , 也 能 实现 业务 的 分 布 式 处 理 。 
3.6 votes: 0，priority: 0 节点 的 使 用 

设置 参数 votes: 0，priority: 0 的 节点 ， 不 参与 选举 ， 
不 会 接收 到 客户 端的 请 求 ， 只 作为 数据 备份 节点 。 
4. 集 群 部 署 
4.1 副本 集 节点 跨 机 房 、 异 地 部 署 

为 满足 异地 、 或 不 同 机 房 的 灾 备 要 求 ， 需 采用 多 中 
心 架构 。 如 图 4: 


如 果 只 是 数据 损坏 ,硬件 等 其 它 条 件 都 正常 ， 只 需 恢 复 
数据 。 如 果 硬 件 类 故障 , 需 男 外 准备 好 一 个 新 的 节点 后 ， 
再 恢复 数据 。 

图 3 是 向 S1 节点 恢复 数据 ，1 主 1 从 1 仲裁 的 结构 ， 
数据 节点 只 有 2 个 ， 数 据 源 只 能 选择 主 节点 P， 大 数据 
量 的 复制 会 对 服务 器 和 应 用 程序 造成 显著 影响 。 右 图 是 
1 主 2 从 结构 ， 数 据 节点 多 于 2 个 ， 可 以 避免 选择 主 节 点 
作为 数据 源 ， 因 为 可 以 选择 从 节点 $2 作为 数据 源 。 


Pp 


3 节点 恢复 数据 


图 4 副本 集 节点 跨 机 房 部 署 


机 房 1 是 主机 房 , 通 过 优先 级 把 主 节 点 部 署 在 主机 房 。 
(a) 图 : 可 通过 副本 集 参 数 调整 ， 把 主 节 点 切换 到 机 房 
2; 在 两 个 机 房 之 间 的 通信 中 断 的 情况 下 ， 主 机 房 依旧 能 
正常 选举 ; 但 是 ， 如 果 机 房 1 出 现 整个 机 房 故 障 ， 就 不 能 
保障 副本 集 可 用 ， 因 为 机 房 2 达 不 到 半数 以 上 ， 不 能 选举 
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出 新 的 主 节 点 。 为 解决 这 个 问题 ，(b ) 图 使 用 了 机 房 3， 
用 于 部 署 仲裁 节点 ， 同 时 机 房 1 和 机 房 2 节点 数量 相等 ， 
无 论 机 房 1 或 机 房 2 出 现 整个 机 房 故 障 ， 仲 裁 节 点 都 能 和 
另 一 机 房 节 点 构成 大 多 数 ， 保 证 副本 集 可 用 。 

隐藏 节点 D、 仲 裁 节 点 A 虽然 都 不 会 成 为 主 节 点 ， 
但 都 有 投票 权 。 
4.2 副本 集 节 点 的 分 布 式 部 署 

同一 个 副本 集 的 节点 若 部 署 在 同一 主机 上 ， 会 出 现 
主机 宕 机 导致 整个 副本 集 不 可 用 的 情况 。 为 避免 这 种 情 
况 ， 副 本 集 的 节点 ， 要 分 别 部 署 在 不 同 的 主机 上 。 
4.3 单机 单 节点 / 单机 多 节点 部 署 

单机 单 节点 ， 即 : 一 个 主机 上 只 部 署 一 个 节点 。 单 
机 多 节点 ， 即 : 一 个 主机 上 部 署 多 个 节点 ( 这 些 节点 分 
属 不 同 的 副本 集 ) 。 分 片 集群 一 般 有 多 个 分 片 ， 也 就 有 
多 个 副本 集 ， 若 几 个 节点 分 属于 不 同 的 副本 集 ， 是 可 以 


部 署 到 同一 个 主机 上 的 。 一 个 主机 上 部 署 多 少 个 节点 ， 
需要 考虑 硬件 资源 ， 主 要 是 CPU 和 内 存 资源 。 如 图 5， 
Serverl 部 署 了 1 个 config 节点 ，1 个 mongos 节点 ， 分 片 
shard1 的 主 节 点 ，shard2 和 shard3 的 从 节点 。 
er -Serverz Server3 
TS mongos rver4 rver5 erver6 
config config conig |]| 增加 | [SEE shards shard4 
shardi(E) shardi sai || < | ps hr shard 
shard2 shard2( 主 ) shard2 
shard3 shard3 shard3( 主 ) 
5 集群 扩展 


4.4 ”分 片 的 数量 以 及 集群 的 扩展 

使 用 mongodb 分 片 集群 ， 数 据 规模 一 定 很 大 ， 否 则 
使 用 副本 集 的 方案 就 够 用 了 。 易 扩展 性 是 mongodb 最 显 
著 的 优点 之 一 。 所 以 ， 一 方面 ， 因 为 易 扩展 性 ， 分 片 数 
量 可 以 设置 少 一 些 ， 比 如 2 个 分 片 ， 以 后 有 需要 可 以 随 
时 增加 分 片 ; 另 一 方面 ， 数 据 均衡 需 已 经 把 历史 数据 大 


( 上 接 第 110 页 ) 


络 资源 的 虚拟 化 ， 使 得 资源 利用 率 最 大 化 ， 取 得 了 很 
好 的 经 济 效益 。 
4. 结语 与 展望 

随 着 国家 政府 对 政务 上 云 、 工 业 企 业 上 云 和 金融 系 
统 上 云 等 一 系列 政策 的 推动 和 投资 ， 相 信 公 有 云 服务 将 
得 到 大 力 发 展 , 就 正如 基于 对 象 的 云 存 储 服务 不 断 发 展 ， 
其 海量 、 安 全 、 高 可 靠 、 低 成 本 的 数据 存储 能 力 将 使 得 
新 闻 服 务 平台 实现 数据 的 一 次 搬迁 ， 全 球 通用 ， 将 大 大 
提高 亚太 站 点 向 北美 、 欧 洲 站 点 数据 同步 的 效率 。 同 时 
随 着 公有 云 PaaS 及 SaaS 层 服务 不 断 地 推陈出新 ， 未 来 一 
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致 均匀 地 存放 到 不 同 分 片 中 ， 新 增加 分 片 ， 会 引发 向 新 
的 分 片 中 迁移 数据 ， 既 费时 间 ， 又 耗 系统 资源 。 因 此 ， 
增加 分 片 的 操作 不 能 太 频 繁 。 只 有 对 承载 的 业务 量 、 数 
据 量 进行 充分 调研 和 预 估 ， 设 计 的 方案 才 有 前 脆性， 在 
一 段 时 期 内 不 需要 增加 分 片 。 

对 集群 进行 扩展 ， 如 图 $，Serverl ，Server2 ，Server3 
组 成 了 3 分 片 1 主 2 从 3 副本 的 集群 ， 扩展 时 增加 了 
Server4，Server5，Server6， 增 加 了 2 个 分 片 shard5 和 
shard6， 也 是 1 主 2 从 结构 。 

4.5 同一 组 服务 器 部 署 多 个 集群 

生产 系统 不 建议 这 么 部 署 。 如 果 硬 件 性 能 确实 够 用 ， 
用 于 实验 目的 , 也 可 以 尝试 ,在 每 一 个 节点 的 配置 文件 中 ， 
都 有 一 个 参数 security.keyFile， 用 于 指定 验证 文件 ， 同 一 
个 mongodb 集群 的 节点 使 用 的 验证 文件 相同 。 

4.6 config 配置 ) 节点 的 部 署 

mongodb3.2 版 , 配置 节点 支持 2 种 方式 ( 任 选 一 种 ): 

SCCC Config Server: 多 个 config 节点 以 镜像 的 方式 ; 

CSRS Config Server: 多 个 config 节点 ， 组 成 副本 集 ; 

3.2 版 之 前 ， 只 支持 SCCC 方式 ，3.2 版 之 后 ， 只 
持 CSRS 方 式 。 从 3.2 版 升级 到 3.4 版 ， 首 先 要 把 配置 节 
点 设置 成 副本 集 。 圈 


[1JIMongoDB Manual[OL] https: //docs.mongodb.com/ 
[2] Kristina Cbodorow 著 ， 邓 强 、 王 明 辉 译 ， MongoDB 权威 
指南 (第 二 版 ) [M]. 北京 : 人 民 邮 电 出 版 社 ，2014 (1). 
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